Năm 117 TCN, Hoắc Khứ Bệnh lâm bệnh qua đời, có thể là do chiến tranh cũng như nguồn nước bị đầu độc khi ông tiến sâu vào lãnh địa Hung Nô [cần dẫn nguồn], hưởng dương 24 tuổi, được truy tặng thụy hiệu là Quan Quân Cảnh Hoàn hầu. Thi hài ông được an táng ở phía đông bắc Mậu Lăng. Con trai ông là Hoắc Thiện lên thế tập tước hầu, gọi là Quan Quân Ai hầu, được sáu năm thì mất, tước bị trừ. Ngoài ra Hoắc Khứ Bệnh còn có một người con nhỏ, sinh ra Hoắc Sơn và Hoắc Vân.

Về sau khi Hán Vũ Đế qua đời, người em trai Hoắc Khứ Bệnh là Hoắc Quang làm đại thần phụ chính, có công phò giúp nhà Hán nên Hoắc Sơn cũng được trọng dụng, được phong đất để kế thừa hương hỏa cho Hoắc Khứ Bệnh. Tuy nhiên đến năm 66 TCN, do âm mưu tạo phản, cả nhà họ Hoắc (trong đó có cả Hoắc Sơn và Hoắc Vân) đều bị sát hại.